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I. ВОЗНИКНОВЕНИЕ ТЕОРИИ И ЕЕ СОДЕРЖАНИЕ 

Выступая второй раз перед общим собранием нашей Ака¬ 
демии, мне хочется начать с замечания, что тема моего сегод¬ 
няшнего сообщения тесно связана с темой доклада «Статисти¬ 
ческая теория колебаний с непрерывным спектром», который 
я делал на общем собрании Академии в 1947 году *, В самом 
деле, наиболее богатая содержанием и паиболее увлекательная 
с чисто математической стороны часть теории информации — 
теория стационарно работающих каналов связи, передающих 
непрерывные сообщения,— не могла бы быть создана без за¬ 
ранее разработанной теории стационарных случайных процес¬ 
сов и, в частности, без спектральной теории таких процессов. 

Интерес к разнообразным задачам передачи и хранения ин¬ 
формации имеет большую давность. Давно, по существу, воз¬ 
никали и вопросы об оценке «количества» информации. Во¬ 
прос о возможности введения универсальной числовой меры 
для количества информации особенно важен в случаях необ¬ 
ходимости преобразования информации одного рода в инфор¬ 
мацию качественно другого рода. Типичной задачей на пре¬ 
образование информации является задача табулирования не¬ 
прерывных функций от непрерывно меняющихся аргументов. 
Если, например, функцию /(ж, у) от двух аргументов 

0<ж<1,0<г/<1 

необходимо задать с точностью до е и известно, что ее прира¬ 
щение Д/ не превосходит по абсолютной величине г, когда 

| Дж | ^ | Д у | ^ 

* См. [1]. Более подробное изложение математической стороны во¬ 
просов, которым был посвящен этот мой доклад в 1947 году, выделено 
в статью [2]. Сейчас аналогичную роль играет глава II настоящей бро¬ 
шюры, воспроизводящая с небольшими изменениями доклад, прочитан¬ 
ный Б. В. Гнеденко от моего имени на симпозиуме по теории информации 
Американского института радиоинженеров (Массачузетский технологи¬ 
ческий институт, сентябрь 1956) и основанный во многих Частях на докла¬ 
де, прочитанном мною совместно с И. М. Гельфандом и А. М. Я гл омом на 
Всесоюзном математическом съезде в июне 1956 г. 

2 а. Н. Колмогоров 
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гэ заведомо достаточно табулировать функцию / с шагом г х 
по х и г у по у, т. е. задать приблизительно 

ІѴсѵ>— — 

г х е у 

ее значений. Если допустить, что |/| ^ 1, то Д ля фиксации од¬ 
ного значения функции достаточно приблизительно 

Я-огІоехоф 

десятичных знаков. Таким образом, если следовать намечен¬ 
ному сейчас плану, всего в таблицу придется ввести прибли¬ 
зительно 

Шсѵ — 

е х е у 

десятичных знаков (не считая записи значений аргументов 
хи у, которая стандартна для всех функций /, подчиненных 
сделанным ограничениям). Общеизвестно, что такой примитив¬ 
ный подход к делу, особенно в случае функций нескольких 
п ременных, привел бы к таблицам огромного объема и прак¬ 
тически неосуществимым. На самом деле при табулировании 
достаточно «гладких» функций выбирают шаг таблицы по неза¬ 
висимым переменным значительно большим, а для нахождения 
значений функции при промежуточных значениях аргументапри- 
бегают к интерполированию с помощью разностей до какого-либо 
порядка р (в случае таблиц функций нескольких переменных 
часто до четвертого, или шестого порядка). Кроме того, часто 
первые знаки /(х, у), повторяющиеся для близких значений 
аргументов, не выписывают в каждой клеточке таблицы, со¬ 
ответствующей определенной паре значений (х, у),' а выписы¬ 
вают, например, лишь в начале строки, состоящей из многих 
таких клеточек. 

При всей общеизвестности й давнем происхождении опи¬ 
санных приемов построения таблиц соответствующие общие 
теоретические исследования, которые должны выяснить мини¬ 
мальное количество информации, необходимое для фиксации 
с заданной точностью г произвольной функции /, подчиненной 
лишь тем или иным общим условиям, находятся еще в началь¬ 
ной стадии. Например, только недавно в моей заметке [3] была 
явно дана формула * 

п 1 

/ \ \р+ а 5 

(^р, а) X (!] , (1) 

* Формулу эту можно назвать формулой А. Г. Витушкина, так как 
в его работе [4] по другому поводу выяснена роль показателя —-— и. 
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указывающая порядок роста при г—>0 количества информации, 
необходимого для фиксации заданной в ограниченной области 
функции п переменных с ограниченными производными пер¬ 
вых р порядков и производными порядка р , удовлетворяющими 
условию Липшица степени а* 

Вполне понятно, что вопросы преобразования й хранения 
информации имеют решающее значение при разработке кон¬ 
струкций и способов употребления современных вычислитель¬ 
ных машин. Здесь «объем памяти» запоминающего устройства 
характеризуется числом удерживаемых этим устройством дво¬ 
ичных знаков (0 или 1). Способ измерения количества инфор¬ 
мации при помощи сравнения любой информаций с информа¬ 
цией в виде некоторого числа двоичных знаков стал сейчас 
стандартным в теории информации. 

Переходя к задачам из теории «каналов связи» в ‘той ее фор¬ 
ме, которая связана с работой телеграфных или телефонных 
линий и подобных им устройств, начнем с очень простой зада¬ 
чи о передаче последовательности десятичных знаков 

• • • > • . * 1 ( 2 ) 

при помощи последовательности двоичных знаков 

1 « 

^ 1 > ^ 2 > • • • > • • • (^) 

Допустим, что последовательность (2) возникает во времени 
по одному знаку в единицу времени. Спрашивается, с какой 
скоростью надо передавать двоичные знаки последовательно¬ 
сти (3), если желать, чтобы восстановление по последователь¬ 
ности (3) исходной последовательности (1) осуществлялось без 
неограниченно возрастающего со временем запоздания. Если 
изображать каждый знак а п отдельно двоичными знаками, то 
на один знак а п приходится тратить четыре двоичных зна¬ 
ка (так как 2 3 *^8<40 и только 2 4 =16^10). Если передавать 
каждую пару (а 2п - 1 , « 2 п) знаков последовательности (2) груп- 
. пой двоичных знаков, то на нее придется тратить семь дво¬ 
ичных знаков (так как 2 в = 64<;100 и только 2 7 =128^100), длй 
передачи трех десятичных знаков достаточно тратиТь десять 
двоичных знаков (так как 2 9 <1000, но 2 10 =1024^1000) и т. д. 
Соответствующие этим системам передачи скорости образова¬ 
ния знаков последовательности (3), т. е. соответствующее чис¬ 
ло двоичных знаков, которые необходимо в среднем передавать 

по существу, содержится половина доказательства формулы (1), а именно, 
доказательство того факта, что порядок # е (^ а ) не может быть 

меньше указываемого формулой (1). 


2 * 
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за единицу времени, равны 

Ѵі =і 4; г 2 = \ = 3,5; ѵ 3 = ^ = 3,33.., 

Легко доказать, что возникающий таким образом ряд чисел 
сходится к пределу 

ѵ — 1о^ 2 Ю == 3,32... 

Именно это ѵ и является нижней гранью тех скоростей созда¬ 
ния знаков последовательности (3), при которых можно без 
систематически возрастающего запоздания передавать после¬ 
дов ательность (2). 

Уже на этом нарочито наивном примере можно наблюдать 
мрогие типичные явления, открытые современной теорией пе¬ 
редачи информации в применении к значительно более общим 
видам каналов связи: 

1) скорость создания информации, несмотря на разнород¬ 
ность ее качества, допускает разумное количест¬ 
венное измерение. В частности, мерой скорости создания 
информации при фиксировании в единицу времени в среднем 
ѵ знаков, каждый из которых может принимать к значений, 
разумно считать число 

Н — г1од 2 А. 

(В нашем случае 

Н = 1о§ 2 10 = 3,32.., 
для последовательности {2) и 

Н* — ѵ 1о§ 2 2 = ѵ 

для последовательности (3) при создании ѵ знаков в единицу 
времени). 

Для дальнейшего заметим, что в случае точно (без ошибок) 
работающих каналов связи скорость выдаваемой ими информа¬ 
ции разумно называть их «пропускной способностью». В на¬ 
шем случае пропускная способность последовательности (3), 

рассматриваемой как канал связи, равна С = Н' = ѵ. В об¬ 
щем случае пропуская способность определяется несколько 
иначе, что будет позднее объяснено. После этого замечания 
сформулируем второй общий принцип: 

2) для возможности передачи возникающей со скоростью Н 

информации через канал связи с пропускной способностью С 

без систематически возрастающего запоздания необходимо 

условиё 
* . 

#<с. 


в 






Наиболее существенен, однако, третий принцип* содержа-* 
ние которого в приводимой сейчас формулировке еще очень* 
расплывчато, но в котором и заключается, пожалуй, наибо-о 
лее Существенное новое, внесенное в теорию передачи информа-і 
ций по каналам связи работами Шеннона: - > 

3) даже при значительной качественной разнородности 
информации, подлежащей передаче, и той информации, ко-^ 
торую способен непосредственно воспринимать и выдавать 
канал связи, в случае 

Н<С , 

в принципе возможно производись передачу без систематиче¬ 
ски возрастающего запаздывания, если подлежащая передаче 
информация перед поступлением в канал связи надлежащим' 
образом «кодируется», а после выхода из канала «декодирует¬ 
ся». Однако, вообще говоря, при приближении Н к С способы 
кодирования и декодирования неизбежно усложняются и воз*' 

никает все большее и большее (при Н—>С) запаздывание пе¬ 
редачи. 

Заметим, что запаздывание, о котором идет речь в принципе* 
3), возрастает при Н->С, но при постоянном источнике инфор¬ 
мации с Н<С С может быть оценено некоторой величиной т, 
которая сохраняется при неограниченном продолжении работы 
канала. • 

В виде следующего примера рассмотрим передачу текста, 
состоящего из букв русского алфавита. Так как* различных 
букв в нашем алфавите 33, то можно формально образовать 

ІѴ = 33 П « : 

различных «текстов» длины п (т. е. последовательностей из п 
букв). Количество информации, содержащейся в указании 
одного определенного такого текста, равно, по-предыдущему 

I = п Іод 33 

(здесь и всюду далее мы употребляем логарифмы при основа¬ 
нии 2, не оговаривая этого специально). Существование сте-, 
пографии показывает, однако, что реальные языковые тексты 
можно передавать значительно более» кратким образом. Это 
вполне понятно: число ІѴ* «осмысленных» текстов из п букв,? 
конечно, несравненно меньше ІѴ. Поэтому, в принципе возмож¬ 
на система записи («идеальная» стенография), которая требо¬ 
вала бы для фиксации любого из этих ІѴ* осмысленных текстов 
лишь 

/* оо 1о^ ІѴ*. 
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двоичных знаков. Полное»использование этой принципиальной 
возможности «сжатия текста», конечно, лежит за пределами 
осуществимого при помощи каких-либо систем стенографиро¬ 
вания или кодирования текста, следующих достаточно про¬ 
стым формальным правилам: закономерности построения ре¬ 
ального языкового текста вряд ли когда-либо будут полностью 
формализованы. 

Мы обратим сейчас внимание лишь на одну особенность 
языковых текстов: различные буквы встречаются в них с раз¬ 
личной частотой. Если фиксировать числа 

• • » 9 Шк 

вхождений в текст длины п каждой из букв 


^1» ^2» • • • » 


(естественно, что при. этом 

п 1 "Ь п 2 Н“ • • • + и* = л), 
то число текстов длины п сократится до 

п\ 


ІѴ' = 


п 1 ! п 2 \ . . . п к \ 


Пользуясь так называемой формулой Стирлинга, которая нужна 
здесь даже лишь в ослабленной форме: 

, 1о§(тг!)— п\о%п, 

легко подсчитать, что при больших щ 

к і 

/' = Іод И' - - п 1о§ р ѵ 

г 

где 




п* 


п 


частоты появления отдельных букв. Полученный результат 

можно выразить так: при употреблении отдельных букв с ча* 
стотами р і количество передаваемой информации «на одну букву 

текста» равно 

(4) 


Н = — ЕРі і0 8Рі- 


В случае равных частот 

Рі = Р* 


1 


= Т 
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мы вновь получаем 


Н = \о§к\ 

при любых других частотах р г 

Н <^\о%к. 

Легко указать приемы, кодирования, позволяющие переда¬ 
вать произвольный текст, в котором буквы а ± , а 2 , а к встре¬ 

чаются с частотами р ъ р 2і ..., р кі затрачивая в среднем (при 
передаче достаточно длинных текстов) на одну букву число 
двоичных знаков, сколь угодно мало отличающееся от Я, оп¬ 
ределенного по формуле (4). Это еще одно проявление третье¬ 
го из сформулированных выше принципов. Мы оставим, од¬ 
нако, теперь рассмотрение элементарных примеров и перейдем 
к элементам общей теории. 

Формула (4) допускает, кроме чисто статистической (в ко¬ 
торой Рі являются частотами), вероятностную интер¬ 
претацию. Пусть со веем общим образом дано распределение 
вероятностей 

р ($ = я*) = Рі (5) 

случайного объекта $. Если дано только это распределение, то 
в ответе на вопрос о том, какому из возможных значений 

^ 2 » • • • » ^к і 

ф 

равно в действительности 5, остается некоторая неопределен¬ 
ность. Сообщая, что Е, равно такому-то определенному Хі , мы 
устраняем эту неопределенность, т. е. сообщаем некоторую 
дополнительную информацию об объекте Мерой неопре¬ 
деленности распределения (5) является его энтропия, вы¬ 
ражающаяся уже знакомой нам формулой (4). Эта же формула 
выражает и количество информации, необходимое для устра¬ 
нения неопределенности в задании \ лишь распределением (5), 
т. е. информация, содержащаяся в указании точного значе¬ 
ния 

Пусть теперь далее дано совместное распределение вероят-і 
ностей 

Р (\і = у.) = р.. 

двух случайных объектов $ и т]. Если т] = у . задано, то $ 
получает условное распределение 

Р(Ь = Х.\г 1 =У } )=:р іи 
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Количество информации, содержащееся в указании точного 
значения $, если значение 7] = у. уже известно, равно 

н (§ I ч = у,) = — 2 Рщ 1о ? Рщ> 

і 

в среднем же оно равно 

МН#\т]) = — 2 ^ 0 ») =У^Рщ ъ ёРц Г 

) і 

Естественно считать, что разность 

І( Ѣ Ь) = Н(І)-МН$ Іч) . (6) 

есть то количество информации относительно I, которое уже 
, содержится в задании т]. Легко подсчитать, что /(т}, $) можно 
записать в виде 


I (ъ 6) = 2 Рц Іод 
и з 




Р$-хдР(-п = Уі ) 



где бит} играют совершенно одинаковую роль: количество 
информации в т) относительно 5 и количество информации в | 
относительно т) численно равны друг другу. 

Легко проверить, что всегда 

, /(5,6) = я (6). (8) 

• 

Теперь без труда определяются скорость передачи инфор¬ 
мации через канал связи, работающий с ошибками, и про¬ 
пускная способность таких каналов (пропускная способность 
определяется, попрежнему, как верхняя грань возможной ско¬ 
рости передачи информации). Приведу еще один элементарный 
пример. Пусть «на входе» в канал подаются знаки т], равные 
О или 1, а на выходе получаются соответствующие знаки т]', 
причем 

Р (уі' = 0) = 1 — Д, Р (т}' = 1) = Д в случае т] = О, 
р (?}' = 0) =• Д, Р (т}' = 1) = 1 — Д в случае т) = 1. 

Легко подсчитать, что верхняя грань 

С = аир/(- 1 ?, V) = 1 + [А 1о§ А + (1 — Д)1<>8(1 — А)] (9) 

достигается в случае 

Р(Ѵ, = 0) = />(Г) = 1)=|. 

По формуле (9) количество информации /(т}, 7;'), передаваемое 
йашим каналом на одну букву, равно заведомо нулю, если 
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А = ~2 • Это вполне понятно, так как с вероятностной точки 

зрения в этом случае знаки т) и т)' независимы. Максималь¬ 
ное значение пропускной способности С = 1 получается при 
А = 0 и при А = 1. В случае А = 0 канал работает без оши¬ 
бок: с вероятностью единица = т]'. Хотя во втором случае 
с вероятностью единица т}=^=7]', т} легко восстанавливается по 
т)' и в этом случае: надо только вместо 0 читать 1 и наоборот. 
Во всех остальных случаях 

0<С<1. 

Когда Шеннон в кцнце сороковых годов предложил изме¬ 
рять количество информации формулами (4), (6), (7) и об¬ 
наружил, что и для каналов связи, работающих с ошибками, 
при довольно широких предположениях относительно источ¬ 
ника информации и строения канала сохраняются сформули¬ 
рованные выше второй и третий принципы, то этим и были 
созданы основы современной Теории информации в виде дисцип¬ 
лины, способной к систематическому развитию. 

Во всяком крупном открытии имеются элементы неожи¬ 
данности. Этим крупное открытие и отличается от пос¬ 
тепенно накапливаемых результатов текущей научной работы. 
Подчеркну здесь, в чем я усматриваю то качественно новое и 
неожиданное, что содержится уже в описанной элементар¬ 
ной части теории информации. 

1. По первоначальному замыслу «информация» не есть ска¬ 
лярная величина. Различные виды информации могут быть 
чрезвычайно разнообразны. Можно было заранее ожидать, что 
можно предложить те или иные способы измерять «количество» 
информации, но было не ясно, существует ли среди этих спосо¬ 
бов какой-либо один, имеющий принципиальное преимущест¬ 
во перед другими, а главное, было совершенно не ясно, можно 
ли качественно различные информации, для которых та или 
иная условная количественная мера одинакова, действительно 
считать эквивалентными в смысле трудности их передачи че¬ 
рез каналы связи, или их хранения в запоминающих устройст¬ 
вах. 

Оказалось, что такая «правильная» по преимуществу мера 
количества информации существует и позволяет решать до¬ 
конца широкий класс задач, в которых априори независимость 
решения от более тонких качественных особенностей инфор¬ 
мации была совершенно не ясна. 

2. В случае каналов связи (или запоминающих устройств), 
работающих с ошибками, можно было опасаться, что достиже¬ 
ние передачи с достаточно малой вероятностью ошибки е свя¬ 
зано е очень большим уменьшением скорости передачи. Воп- 

3 А. Н. Колмогоров л а 



реки этим опасениям оказалось,,что дри условии Я«7 сразу 
становится возможной передача информации со сколь угодно 
малой вероятностью ошибки. Для пояснения этого обстоятель¬ 
ства укажу на следующее. Пусть дан канал связи с пропуск¬ 
ай способностью С. Рассмотрим задачу передачи по нему дво¬ 
ичных знаков, возникающих в числе Н за единицу времени. 



Тогда достижимый с любым приближением минимум вероятно¬ 
сти ошибки в передаче отдельного знака является универсаль¬ 
ной функцией е (Я) отношения К = Н1С (изображенной на 
рис. -1). При она равна нулю, а при дальнейшем возраста¬ 
нии К начинает возрастать и при К —>оо стремится к половине 
(аналитически при К > 1 функция е (К) определяется из урав¬ 
нения 

-І. = 1 + 81о§ 8 + (1 — е) Іод (1 — з), ). 

Таким образом, от значений, точно равных нулю при 
наша функция при К^> 1 сразу переходит к возрастанию. 

Правда, как уже отмечалось ране’е, при Я, близких к С, 
достижение малой вероятности ощибки требует часто очень 
сложных правил кодирования информации и приводит к 
большому запаздыванию ее выдачи на выходе канала. Но имен¬ 
но эта большая сила сложных способов кодирования в смысле 
устранения ошибок и является принципиально важным вы¬ 
водом, к возможным применениям которого мы еще вернемся. 

Обоснование предложенных Шенноном способов измерения 
количества информации, т. е. формул (4) и (7), можно мыслить 
двояко. Прежде всего можно выдвинуть те или иные естествен¬ 
ные аксиоматические требования, которым мера количества ин¬ 
формации должна удовлетворять. В применении к величине 
* Я(^), т. е. в соответствии с формулой (8) к количеству инфор¬ 
мации, содержащейся в указании случайного объекта \ отно¬ 
сительно самого этого объекта 5, образцово ясное изложение 
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такого подхода к задаче обоснования теории информации дано 
в. работе А. Я. Хинчина [5]. Представляло бы некоторый ин¬ 
терес дать столь же естественную аксиоматику непосредственно 
€олее общего понятия количества информации I (^, 73 ) в одном 
случайном объекте относительно другого случайного объекта. 
Дело в том (ср. главу II этого доклада), что в непрерывном 
случае обычно Н(%) и Я(>з), взятые, отдельно, бесконечны, и 
I (^, ■/)) не может вычисляться по формуле ( 6 ). 

В качестве итога исследований аксиоматического направ¬ 
ления можно считать выясненным, что никакой другой столь 
же естественной скалярной сводной характеристики информа¬ 
ции, содержащейся в одном случайном объекте і; относительно 
другого случайного объекта 73 , кроме I (і;, 73 ), существовать не 
может. Однако, так как «информацгія» по своей природе не 
обязана быть (и в действительности не является!) скалярной 
величиной, то никакие аксиоматические исследования указан¬ 
ного направления не могут ответить на вопрос, о том; сколь 
полно характеризует величина I (^, 73 ) интересующую нас 
«информацию». Некоторый ответ на этот вопрос, как уже мож¬ 
но было понять из предшествующего изложения, дают теоремы, 
обосновывающие второй и третий сформулированные* выше 
общие принципы теории передачи* информации. В . силу этих 
теорем в весьма широком классе случаев приспособленность 
канала связи, или запоминающего устройства к передаче, 
или хранению информации с достаточной полнотой характери¬ 
зуется одним единственным числом С (при расчете на единицу* 

времени С ), а присшэсобленность самой информации к пере-< 
даче, или хранению — одним единственным числом Н (или 

при расчете на единицу времени. Я). Качественное своеобразие 
информации оказывается при этом не существенным. Трудно 
переоценить значение такого рода результатов, если учесть 
широту применения в современной технике таких преобразо¬ 
ваний, как. преобразование изображений, передаваемых в те¬ 
левидении, в электрические колебания и обратно (в термино¬ 
логии теории передачи информации это частный случай «коди¬ 
рования» и «декодирования») и т. п. Вместе с тем надо понимать, 
что при всей увлекательности идей теории информации по¬ 
добное стирание качественных особенностей информации имеет 
место только с известным приближением и при определенных 
условиях. Эти условия в хорошо исследованных случаях,; 
грубо говоря, состоят в накоплении большого количества од¬ 
нородной информации, в действительной осуществимости слож¬ 
ных методов кодирования и в безвредности возникающего при; 
этом запоздания выдачи информации. Кроме того, следует яс¬ 
но представлять себе, что точное математическое обоснование. 

3 * 
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реальности этих представлений пока выполнено лишь при 
довольно ограниченных предположениях. При необычайном 
богатстве идей, данных в работах самого Шеннона, изложение 
в них обычно крайне туманно. Лишь позднее в ряде работ 
чистых математиков для случая стационарно работающих 
каналов, передающих дискретные сигналы, «теоремы Шенно¬ 
на» были доказаны безукоризненно и в достаточно общих пред¬ 
положениях. Наиболее законченный характер из работ этого 
направления имеет работа А. Я. Хинчина [6]. 

С значительно опережающим фундаментальные матемтиче- 
ские исследования развитием теории информации, осуществляе¬ 
мым исследователями более прикладного направления, совет¬ 
ский читатель может с достаточной полнотой познакомиться 
по книгам [7], [8], [9] (в [7] включен перевод основной работы 
Шеннона [10], книга Гольдмана [9] вскоре должна выйти в 
русском переводе). 

Существенные элементы теории информации для непрерыв¬ 
ного случая, казалось бы более трудного, возникли до Шенно¬ 
на. Логарифмическая мера количества информации, вполне 
аналогичная шенноновскому выражению Н (^), лежит в основе 
ассимптотических методов статистики, разработанных Фишером 
еще в 1921—1925 годах (см. [11], гл. 32—33*). 

Еще ближе непосредственно к работам Шеннона стоят 
результаты В. А. Котельникова[12], полученные еще в 1933 году. 
Здесь ^5ыла сформулирована фундаментальная идея спект¬ 
ральной теории передачи информации при помощи непрерыв¬ 
ных сигналов, о которой я говорю подробнее в главе II этого 
Доклада**. 
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II. ПРИНЦИПЫ ПОСТРОЕНИЯ ТЕОРИИ 
В СЛУЧАЕ НЕПРЕРЫВНЫХ СООБЩЕНИЙ 


Роль энтропии случайного объекта 5, способного принимать 
значения х ъ х%,... ,х п с вероятностями р ѵ р 2 , ■ ■ ■, Р п , 

Н$) = — '2>Р к 1о§р к 
к 

в теории информации и теории передачи сообщений при по¬ 
мощи дискретных сигналов можно считать достаточно выяснен¬ 
ной. Далее я настаиваю на той идее, что основным понятием, 
допускающим обобщение на совершенно произвольные непре¬ 
рывные сообщения и сигналы, является не непосредственно 
понятие энтропии, а понятие количества информации I (?, т)) 
в случайном объекте § относительно объекта 7]. В дискретном 
случае эта величина корректно вычисляется по известной 
формуле Шеннона 518 

/($, гі) = Н(гі)-МНШ. 

Для конечномерных распределений, обладающих плотностью, 
величина /(&, т)), по Шеннону, определяется аналогичной 
формулой: 

/( 6 . 

где й(т}) есть «дифференциальная энтропия» 

к Сч) = — і Рп (у) Ьд р п (у) Ау, 

а к (т) | &) — аналогичным образом определяемая условная диф¬ 
ференциальная энтропия. Общеизвестно, что величина к (6) 


* В кажущихся мне целесообразными обозначениях Н (тд | х) есть 
условная энтропия тд при % = х, а МН (тп | 5) — математическое ожидание 
этой условной энтропии при переменном 




не имеет непосредственного реального истолкования и даже 
не инвариантна по отношению к преобразованиям координат 
в пространстве х-ов. Для бесконечномерных распределений 
аналога выражения к ( 6 ), вообще говоря, не существует. 

В собственном смысле слова, энтропия объекта ^ с непре¬ 
рывным распределением всегда бесконечна. Если непрерыв¬ 
ные сигналы не могут тем не менее служить для передачи не¬ 
ограниченно большой информации, то только потому, что они 
всегда наблюдаются с ограниченной точностью. Естественно 
поэтому, задав точность наблюдения 8 , определить соответст¬ 
вующую ей «з — энтропию» // 6 (^) объекта Это и было сде¬ 
лано Шенноном под названием «скорости создания сообщений». 
Хотя выбор для этой величины нового названия и не меняет 
существа дела, я решаюсь предложить такое переименование, 
подчеркивающее более широкий интерес понятия и его глубо¬ 
кую аналогию с обыкновенной точной энтропией. Укажу за¬ 
ранее на то, что, как указывается в § 3, для е — энтропии 
сохраняется теорема об экстремальной роли нормального рас¬ 
пределения (как в конечномерном, так и в бесконечномерном 
случае). Далее, в § 1 —2, я даю, не претендуя на безусловную 
новизну, абстрактную формулировку определения и основных 
свойств величины I (^, ■/)). и обзор основной проблематики тео¬ 
рии передачи сообщений Шеннона, В § 3— 6 излагаются не¬ 
которые конкретные результаты, полученные советскими мате¬ 
матиками в самое последнее время. Мне особенно хотелось бы 
подчеркнуть интерес исследований по асимптотическому по¬ 
ведению з -г- энтропии при 8—^0. Исследованные ранее случаи 

Яефс^иіоді-, Н. (5) і*т6оо ^ > 

где п —число измерений, а IV — ширина полосы спектра, 
являются лишь очень частными случаями могущих здесь встре¬ 
титься закономерностей. Для понимания открывающихся здесь 
перспектив может представлять интерес, изложенная в других 
терминах моя заметка [5]. 

§ 1. Количество информации в одном случайном объекте 

относительно другого 

>> * 

Пусть $ и г] являются случайными объектами с областями 
возможных значений X и У, 

і>* (А) = Р (5 € А), Р п (В) = Р (ч 6 В ), 
соответствующие распределения вероятностей и 

Р*п (С) — Р ((5. “»)) 6 С) 
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совместное распределение вероятностей объектов і и ?}. По опре¬ 
делению количество информации в случайном объекте $ отно¬ 
сительно случайного объекта т) дается формулой 


7 <*• Ч) “ $ $ № Лу ) І0 в Р^хТргЩ • (1) 

Точный смысл этой формулы требует некоторых пояснений, 
а сообщаемые далее общие свойства величины / ( 6 , ?]) справед¬ 
ливы лишь при некоторых теоретико-множественного характера 
ограничениях на распределения и Р но здесь я не 

буду на этом останавливаться. Во всяком случае, общая теория 
без больших затруднений может быть изложена таким образом, 
что она • будет применима к случайным объектам $ и весьма 
общей природы (векторам, функциям, обобщенным функциям 
и т. п.). Определение (1) можно считать принадлежащим Шен¬ 
нону, хотя он и ограничился случаем 

Р % (А) = ^ (ж) Ох, і> ч (В) = [р Г1 (У) Лу, 

А В 

(С) = ^ ^ {х, у) (іх (Іу , 

с 

когда ( 1 ) переходит в 

1 в ч) = П р ь {х ' у) 1о? "рЛ*)р%) ЛхАу - 

X У * 4 

• **ѵ 

Иногда бывает полезно представить распределение Р^ ъ в виде 

Ръ (С) - 5 5а (х, у) Р к (ах) Р ѵ (а У ) + 5 (С), (2) 

с 

где функция 3 (С) сингулярна относительно произведения 


Р$ х ^Рч- 


Если сингулярная компонента отсутствует, то формула 


«5, ч = а (5. ■»)) (3) 

определяет однозначно с точностью до вероятности нуль слу¬ 
чайную величину ос^ Иногда бывает полезна сформулированная 
И. М. Гельфандом и А. М. Ягломом [1]. 

ТЕОРЕМА. Если 5(ХХГ)>0, то І(%, ъ) = оо. Если 
3(ХхУ) = 0, то 
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( 4 ) 


/ (?, ч) = Ц а (ж. У) 1о§ а ( х , у) Р$ (йх) і> ч [йу) = 
хг 

= П Іода (ж, у) Р и {(іх-йу) =М Іода*, 
хг 

Перечислим некоторые основные свойства величины /(с, ч)- 

I. /(5,Ч) = /(Ч.&). 

II. / ($, ч) > О ; /( 6 , ?)) = 0 лишь в случае, если 5 и т] не¬ 
зависимы. 

III. Если пары ($!, 7] х ) и ($ 2 , т) 2 ) независимы, то 

I ((^і> ОЧі» Чг)) == I (&і> Чі) "Ь ^(^2> Чг)* 

іѵ. /((б,ч),о>/(ч,д. 

V. / ((?, ч). С) = / (ч, С) 

в том и только в том случае, если т], С есть марковская 
последовательность, т. е. если условное распределение С при 
фиксированных $ и т) зависит только от т). 

По поводу свойства IV полезно заметить следующее. 

В случае энтропии 

Я (6)-/(5, 5) 

кроме оценок энтропия пары (?, т/) снизу 

Я(5,ч)>Я(5), Я(?,ч)>Я(ч), 

вытекающих из I и IV, имеется оценка сверху 

Я (6, ч)<Я(5) + Я(ч). 

Для количества информации в С относительно пары ( 5 , т}) ана¬ 
логичной оценки не существует: из 

/(6, С) «О, /(ч, С) -о 


еще не вытекает, как можно показать на элементарных при¬ 
мерах, равенство 

/((*. ч). 9 = о. 

Для дальнейшего отметим специально случай, когда ^ и и| 
являются случайными векторами 

5 — (&і» • • • » 5т)» 


и величины 


Ч ” г (^І» * ' * » *Ч П ) (^т+і ! 


5і, • • • > 5т+п 



) 


* 
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распределены нормально со вторыми центральными моментами 

**і = М [(Іі - МІг) (6, - МЩ . 

Если детерминант 

С = | 8 {і | 1<і, /<т + п 

отличен от нуля, то как было подсчитано И. М. Гельфандом 
и А. М. Ягломом, 

/(6,4)" 4-1°Иг> (5) 

где 

А = | |і<і, ;<т» & = | |т<І, ;<тгН-п* 

Часто целесообразнее, впрочем, другой подход к делу, приме¬ 
нимый без ограничения С>0. Как известно [2], после надле¬ 
жащего линейного преобразования координат в пространствах 
X и У все вторые моменты , кроме тех, для которых і = /, 
или / = т + г, обратятся в нуль. При таком выборе координат 

= % )], ( 6 ) 


где суммирование берется по тем 

к ^ тіп (т, /г), 

для которых знаменатель в выражении коэффициента корреля¬ 
ции 


г #к>%) = 


8 к , пг+Л 


V 8 к,к 


' 8 т+к, ш-\-к 


отличен от нуля. 


§ 2. Абстрактное изложение основ теории^Шеннона 
Шеннон рассматривает передачу сообщений по схеме 

^^V& V 

где «передающее устройство» 

характеризуется условным распределением 

ІѴ )Ч (В’ I у) = Р (д' € В' I ч = у) 

«сигнала на выходе» ?}' при заданном «сигнале на входе» и 
некоторыми ограничениями 

р еѵ 
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распределения А, входного сигнала. Операции «кодирования» 
и «декодирования» 

характеризуются условными распределениями 

А/5 (Б/ж) = = ж), 

^ /ѵ (^/г/') = Р(Ге^7Ѵ = 2/'). 

Основная задача Шеннона заключается в следующем. Заданы 
пространства X , X', У, У' возможных значений «сообщений на 
входе» $, «сообщений на выходе» сигналов на входе т) и 
сигналов на выходе ц', заданы характеристики передающего 

устройства, т. е. условные распределения Аічч, и класс V до¬ 
пустимых распределений А входного сигнала; заданы, наконец, 
распределение 

Ръ(А) = Р$еА) 

сообщения на входе и «требования к точности передачи» 

Р& € ѴР, 

где IV некоторый класс совместных распределений 

Р*> (С) = Р (($, 5') 6 С) 

сообщения на входе и сообщения на выходе. Спрашивается: 
возможно ли, и в случае возможности — какрм способом,, задать 
правила кодирования и декодирования (т. е. условные распре¬ 
деления Рун и Р%'іц') таким образом, что, вычисляя распреде¬ 
ление Рц>, по распределениям Рщ, /V/», іѴ/5 в пред¬ 
положении, что последовательность 

5, ■»), V. Б' 

марковская, полупим 

р к > € т 

Определим вместе с Шенноном «пропускную способность» пере¬ 
дающего устройства формулой 

С = зир I (у, у') 

РцбѴ 

и введем величину 

я*®» іш /(мг 

р#,е\ѵ 

2І 





которую при расчете на единицу времени Шеннон называет 
«скоростью создания сообщений». Тогда, из свойства V § 1 
сразу вытекает необходимое условие возможности 
передачи 

Н\ѵ (5) < С. (7) 


Как уже отмечалось, несравненно глубже идея Шеннона, 
что в применении к длительной работе «каналов связи» усло¬ 
вие (7) является в некотором смысле и при некоторых весьма 
широких условиях и «почти достаточным». С математической 
точки зрения здесь дело идет о доказательстве предельных 
теорем следующего типа. Предполагается, что пространства 
X, X', У, У', распределения Р% и ІѴ/ті, классы V и \Ѵ, а сле¬ 
довательно, и величины С и Н\у(%) зависят от параметра Т 
(играющего в применениях роль длительности работы передаю¬ 
щего устройства). Требуется установить при некоторых весьма 
общего характера предположениях, что условие 


Іішіпі 

Т-*■ оо 




достаточно для возможности передачи, удовлетворяющей постав¬ 
ленным выше условиям, при достаточно больших Т. Естествен¬ 
но, что в такой постановке задача несколько расплывчата. 
Однако я умышленно избегнул здесь обращения к терминоло¬ 
гии теории стационарных случайных процессов, так как можно 


получить в намеченном направлении не лишенные интереса 
результаты и без предположения стационарности [3]. 

Выводу предельных теорем указанного типа для дискрет¬ 
ного случая посвящено много замечательных работ. Среди них 
особенно следует отметить уже называвшуюся работу А. Я. Хин- 
чина [4]. 

Для общего непрерывного случая здесь, собственно, еще 





§ 3, Вычисление и оценка а-энтропии в некоторых 

частных случаях 

Если условие 

Р*. ѵ € ТУ 

выбрать в виде обязательности точного совпадения ? и 

Р(6 = 5') = 1, 
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то 


и„ (?) = н (?>. 

В соответствии с этим кажется естественным назвать в общем 
случае Н^(в) «энтропией случайного объекта I при точности 

воспроизведения \Ѵ». 

Предположим теперь, что пространство X' совпадает с X, 
т. е. исследуются способы приближенной передачи сообщения 
о положении точки $ 6 X при помощи указания точки того 
же пространства X, и что в пространстве введено «расстоя¬ 
ние» р (#, #'), удовлетворяющее обычным аксиомам «метриче¬ 
ских пространств». Кажется естественным потребовать, чтобы 

і>{р(?,Г)<е} = 1, (\Ѵ°е) 

или чтобы 

М? (*, $') < е 2 . (ТГе) 

Эти два вида «е-энтропии» распределения Р% будем обозначать 

о (5) = Щ (6), 

Что касается е-энтропии ІІІ (с), то я хочу здесь лишь от¬ 
метить некоторые оценки для 

Щ(Х) = вирНЧ(І), 


где верхняя грань берется по всем распределениям вероят¬ 
ностей Р% на пространстве X. При в = 0, как известно, 

* 

Н° 0 (Х) = вирН(1;) = 1о г ^, 

Р К 

где Их есть число элементов множества X. При 

е>0 

Іо» № х (2е) < Н° е (X) < Іо? № х (е), 

где ІѴх (е) и являются характеристиками пространства X, 
которые введены в моей заметке [5]. Ассимптотические свой¬ 
ства при 8—»0 функций ІѴу(е), изученные для ряда конкрет¬ 
ных пространств X в [5], являются интересными аналогами 
излагаемых далее свойств ассимптотического поведения функ¬ 
ции # е (5). 
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Обратимся теперь к е-энтропии # е (0. Еслй^ X есть п-мер- 
ное эвклидово пространство и 

Р$ {А) = ^ (х) йх г йх 2 . . . йх п , 

А 

то, по крайней мере в случае достаточно гладкой функции р%(х), 
имеет место хорошо известная формула 

Я, (5) = п 1о§ + [А($) — п\о%У%й\ + о(1), (9) 

где 

к (?) = — ^ р К ( х ) 1о§ р К ( х) йх у сЬ 2 ... йх п 

X 

«дифференциальная энтропия», введенная уже в первых рабо¬ 
тах Шеннона. Таким образом, ассимптотическое поведение Н г (О 
в случае достаточно гладких непрерывных распределений в 
тг-мерном пространстве определяется в первую очередь 
размерностью пространства и лишь в виде второго члена в вы¬ 
ражение # е (0 входит дифференциальная энтропия й(0* 

Естественно ожидать, что для типичных распределений 
в бесконечномерных пространствах рост /7 е (0 при е—>0 будет 
существенно более быстрым. В виде простейшего примера рас¬ 
смотрим случайную функцию Винера $(*), определенную для 
0<*<1, с нормально распределенными независимыми при¬ 
ращениями 

Д| = і (і + ДО —: 5 (0> 

для которой 

& (0) = 0, ММ == 0, М (Д5) 2 = Д*. 

А. М. Яглом нашел, что в этом случае в метрике Ь 2 

н * (0 = ^ + 0 (^-) • ( Ю ) 

Более общим образом для процесса Маркова диффузного типа 
на отрезке времени с 

ММ = А (М (0) + о (ДО; м (ДО 2 = В (*, 5 (0) А* + О (ДО 

можно при некоторых естественных допущениях получить фор¬ 
мулу / 

я,(9 = 4х-І + о(і), (11) I 

где 

к 

х(?) = $мв(*, 6(0) л. 
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Для случая нормального распределения в «-мерном эвкли¬ 
довом, или в гильбертовом пространстве е-энтропия Н г может 
быть вычислена точно; «-мерный вектор 5 после надлежащего 
ортогонального преобразования координат приобретает вид 

$ = (Ъѵ «2, • • • . Ц 

где координаты взаимно независимы и распределены нормаль¬ 
но. При заданном е параметр Ѳ определяется из уравнения 

е 2 = 2 тіп (Ѳ 2 , Б%) 

т 

и, в случае нормально распределенного 6 ,- 

і № 

Нг (5) = у Е І0 * * ( 12 > 

Аппроксимирующий вектор 

5 • • • >5п) 

следует выбирать так, что при 

* 

: &=о, 

а при Л%^>Ѳ 

. ц-й+А*, яд й =ѳ 2 , л 

♦ ѵ 

и векторы и Д* взаимно независимы. Бесконечномерный 
случай ничем не отличается от конечномерного. 

Наконец, весьма существенно, что максимальное зна¬ 
чение #,(&) Для вектора 6 («-мерного, или бесконечно¬ 
мерного) при заданных вторых центральных мо¬ 
ментах достигается в случае нормального 
распределения. Этот результат может быть получен непо¬ 
средственно или из следующего- предложения М. С. Пинскера 
(ср. [ 6 ]): 

'ТЕОРЕМА. Пусть заданы положительно определенная сим¬ 
метрическая матрица величин 0 < і, / т + «, и распре¬ 
деление Р% вектора 


5 = (?1, • • • I 5т), 

центральные вторые моменты которого равны зц (при 0<Х/Ог). 
Пусть условие (V на совместное распределение Р& ^ вектора ^ 
и вектора 


^ (5т+і, ^т+2» • • • , 5т+п) 
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заключается в том, что центральные вторые моменты величин 


^ 1 > ^ 2 > • • • 1 

равны $і ; - (при О^г, /^иі + тг). Тогда 

Я^(5)<|іо 8 ^. (13) 

Обозначения в формуле (13) соответствуют изложению § 1. 
Из сопоставления со сказанным в § 1 видно, что неравенство 
(13) превращается в равенство в случае нормального распре¬ 
деления 

Принципы решения вариационных задач, возникающих при 
вычислении «скорости создания сообщений», были указаны 
довольно давно Шенноном. В [7] Шеннон и Уивер пишут: 
«К сожалению, эти формальные решения в частных случаях 
трудно численно оценить, и поэтому ценность их представляет¬ 
ся небольшой» 518 . По существу, однако, многие задачи такого 
рода, как видно из сказанного выше, достаточно просты. Воз¬ 
можно, что медленное развитие исследований в этом направле¬ 
нии связано с недостаточным пониманием того обстоятельства, 
что в типичных случаях решения вариационных задач оказы¬ 
ваются очень часто вырожденными; например, в разобранной 
выше задаче вычисления Н г (?) для нормально распределенного 
вектора ? в тг-мерном случае вектор ?' часто оказывается не 
тг-мерным, а лишь А-мерным с і</г, в бесконечномерном же 
случае вектор ?' оказывается всегда конечномерным. 


§ 4. Количество информации и скорость создания сообщений 

в случае стационарных процессов 

Рассмотрим два стационарных и стационарно связанных 
процесса 

5(0.Ч(0і — оо<*<оо. 

Будем обозначать через ? т и 7] г отрезки процессов ? и т] 

за время 0 < I Т и через ?_ и т)_ течение процессов ? и т) 
на отрицательной полуоси —оо<^<10. Задать пару (?, 7]) 
стационарно связанных процессов ? и ?} это значит задать инва¬ 
риантное по отношению к сдвигам вдоль оси і распределение 
вероятностей Р ^ в пространстве пар функций {; х(і ), у{І)}. Если 
зафиксировать то из распределения Р возникает услов- 


* § 28, стр. 79 русского перевода. 
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ное распределение * 

Р* Т Ж- (С 1®-) = р {(6г, 1= *_}. 

При помощи этого распределения в соответствии с § і вычис¬ 
ляется условное количество информации 

/(6г. Ч И- 

Если математическое ожидание 

ш<лт> чго 

конечно при каком либо Г^>0, то оно конечно и при всех 
других Т>0 и 

мкь, чіи = г/({ ? о. 

Величину /($, т)) естественно назвать «скоростью создания 
информации о процессе т] при наблюдении процесса ?». Если 
процесс 5 с полной точностью экстраполируется из прошлого 
в будущее, то 

/(6, ч) = о. 

Так будет, в частности, если процесс $ имеет ограниченный 
спектр. Вообще говоря, не обязательно имеет место равенство 

/(*. ч) = 7(ч. 6). ( 14 ) 

Однако при довольно широких условиях «регулярности» про¬ 
цесса * $ имеет место равенство 


I (5, Ч)-/(5,Ч), 

где 

7(с, 7)) = Ііп ~ / (? т , т| т ). 

Т-*- оо 1 

Так как 7($ т , т) т ) — /(т) г , ? т ), то всегда 


/(6, ч) = /(ч. 6) 

и, следовательно, в случае справедливости обоих равенств 

7 ($, Т)) = 7(1, 7)) и 7 (7), 5) = 7(т}, 5), имеет место равенство 
(14). Пусть теперь \Ѵ есть некоторый класс совместных рас¬ 
пределений Рц' двух стационарных и стационарно связанных 
процессов ? и 5'. Естественно назвать величину 

Яѵг ($) іпІ 7 (?', I) 

Р^І?/ € И 7 


* Примечание на стр. 28. 
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«скоростью создания сообщений в процессе при точности вос¬ 
произведения \Ѵ». При некоторых предположениях регулярно¬ 
сти процесса 5 и для некоторых естественных типов условий 
ІУ можно доказать, что 

✓ 

Нхѵ (?) = Я іѵ (?), 
где 

Нуу= іпі /(?,?')• 

Р& € IV 


§ 5. Вычисление и оценка количества информации и скорости 

создания сообщений по спектру 

* 

Для случая, когда распределение нормальна и хотя бы 
один из процессов 5 или ?} регулярен, имеет место предло¬ 
женная М. С. Пинскером [9] формула 


I (5, ■*)) = — I І0 ? I 1 — Г% ('01 

где (15) 

. 2П , _ І/ 5 „МГ 

Г ( къ ( х > къ М ’ 

а Нь Дч» 1т — спектральные плотности. В случае процессов 
с дискретным временем і для дифференциальной энтропии 
нормального процесса на единицу времени 


к (Б) = Ит 
т 


1 


А($і, ^2> 


6г) 


оо 


известно выражение 


1 

А (?) = 1о§ (2к Уе) + 2 ^- ^ 1о§ къ (>0 



Однако, в случае непрерывного времени и неограниченного 

спектра никакого аналога выражения к (?) не существует и 
формула Пинскера требует самостоятельного вывода. 

Естественно характеризовать точность воспроизведения ста¬ 
ционарного процесса і при помощи стационарного и стационар- 


* Регулярность процесса здесь и далее обозначает, грубо говоря, что 
отрезки процесса, соответствующие двум достаточно удаленным друг от 
друга отрезкам оси І у почти независимы. В случае гауссовских процессов 
здесь применимо хорошо известное определение регулярности, введенное 
в моей работе [8]. 
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но связанного с ? процесса ?' величиной 

а 2 = М [?(*)-?' (01 2 
ж в случае условия ѴГ вида 

а 2 <. е 2 

называть величину 

Я е (5) = (6) 


з — энтропией на единицу времени процесса с, а в предноло г 
жении, что 


Нуѵ (?) = Нцг ( 6 ) 


скоростью создания сообщений в процессе ? при средней точ¬ 
ности передачи е. Из соответствующего предложения для 
конечномерных распределений (см. § 3) можно вывести, что при 

заданной спектральной плотности Д, ^ (X) величина Н г (?) дости¬ 
гает максимума в случае нормального процесса ?. В нормаль¬ 
ном случае величина # е (?) может быть легко вычислена по 
спектральной плотности /^(Х)* вполне аналогично тому, как 
это было объяснено в § 3 в применении к величине Н г (§) для 
гг-мерных распределений. Параметр Ѳ определяется из урав¬ 
нения 

г 2 = ^ тіп(Ѳ 2 , /^(Х))й\. (17) 

оо 

При помощи этого параметра величина // е (?) находится по 
формуле 

Я(5) = у ^ 1о? Т й) - ( 18 ) 

(Х)>Ѳ 2 


Практический интерес представляют спектральные плот¬ 
ности вида (рис. 2), которые хорошо аппроксимируются функ¬ 
цией 



а 5 


при. А | X | ^ А + И 7 , 


0 в остальных случаях. 


Легко подсчитать, что в этом случае при не , слишком 
малых е приближенно для нормального процесса 


Ѳ 2 


е а 

2ЙР 


Я е ($)~ИЧое 

<4 


2ТѴа 2 
г* 9 


(19) 
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Формула (19), конечно, есть нѳ что иное, как Хорошо 
известная формула Шеннона 

Я = ѴГІо 8 §. (20) 

Принципиальная новизна заключается здесь, однако, в том, 
что теперь мы видим почему и в каких_ пределах (при не 



слитком малых е) эта формула может быть применима к про¬ 
цессам с неограниченным спектром, а таковы все реально инте¬ 
ресующие нас в теории передачи сообщений процессы. Запи¬ 
сывая (19) в виде 

Яе (?) Ж 2\ѵ 1о ? (а ѴЩ Іод— (21) 

и сравнивая с (9), мы видим, что двойная ширина 2 \Ѵ исполь¬ 
зуемой полосы частот играет роль числа измерений. Эта идея 
эквивалентности двойной ширины полосы частот числу изме¬ 
рений, приходящихся, в некотором смысле слова, на единицу 
времени, была, повидимому, впервые высказана В. А. Котель¬ 
никовым (см. [10]). В-обоснование этой идеи Котельников ука¬ 
зывал на то обстоятельство, что функция, спектр которой 
помещается в полосе ширины 2И^, однозначно определяется 
значениями функции в точках 

2 1 Л 1 2 к 

* • *» 2\Ѵ 9 2\Ѵ 9 ^ ’ 2ѴУ ’ 21Ѵ ’ ' * * ’ 2ТѴ ’ * * * 

Эта же аргументация сохранена и у Шеннона, использующего 
полученные таким образом представления и дйя вывода фор¬ 
мулы (20). Так как функция с ограниченным спектром всегда 
сингулярна в смысле [8] и наблюдение такой функции вообще 
не связано со стационарным- гіритоком новой информации, то 
смысл такого рода аргументации оставался не вполне ясным, 
так что приведенный здесь новый вывод приближенной 
формулы (21) представляется мне не лишенным интереса. 
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При малых е для любой нормально распределенной регу¬ 
лярной случайной функции рост Н & (і) с убыванием е проис¬ 
ходит существенно быстрее, чем это получалось бы по форму¬ 
ле (21). В частности, если/^(Х) при X—^оо имеет порядок Х-Р, 

то Н в (і) имеет порядок е” 2 ^- 1 ). 

§ 6. Вычисление и оценка пропускной способности 
в некоторых частных случаях 

Сначала рассмотрим случай, когда входной сигнал является 
/п-мерным вектором 

==г С*Ц> • • *і 

а выходной сигнал — тг-мерным вектором 

і = Ы ѵ О- 

Как уже говорилось, передающее устройство т]—► ?}* характе¬ 
ризуется условным распределением вероятностей и неко¬ 

торыми ограничениями на входной сигнал т]. Предположим, 
что зависимость ?}' от т) имеет характер линейной нормальной* 
корреляции, т. е., что 

*+ С, (22) 

где оператор А линеен, а вектор С независим от т) и подчинен 
п-мерному гауссовскому распределению. Что касается условий 
на входной сигнал, то допустим, что они имеют вид 

Л^(ч)<«*. .(23) 

где есть некоторая положительно определенная квадратич¬ 
ная форма от координат 7) х ,., т) т . При помощи надлежащего 
выбора линейных преобразований координат в пространствах У 
и У' общий случай сводится к случаю, когда 

= ■ 

а зависимость (22) записывается в виде 

7 )і = “Л + а г ф 0, "при 1 < і < &, ^ 

•' ; при г>А, ) 

где к = тіп (т, п). 

В сделанных предположениях пропускная способность, т. е. 
верхняя грань С количества информации /(т), ?]'), совместимая 
о наложенными условиями, легко находится. Она достигается, 


(24) . 

(25) 




если — взаимно независимые случайные гауссовские величины 


.2 


Ву\і = Ѳ 2 -^ , если і ^ к и Л іѲ 2 > /)С*, 


Вці = 0 при остальных і, 


(26) 


где константа Ѳ 2 , как легко видеть, однозначно определяется 
требованиями (26) и 



* 

г 



Соответствующее значение С = I (г\, ч{) есть (см. § 3) 

1 ѵі а?Ѳ 2 

С = Т 2 10 ёщг- (28) 

Аналогично дело обстоит в случае стационарных линейных 
каналов связи с «гауссовскими шумами», т. е. в случае 

г/ = Ау\(і) + С(0, (29) 

где А линейный оператор, а С (2) независимая от т;(г) гауссов¬ 
ская стационарная случайная функция. Как известно, соот¬ 
ветствующие спектральные плотности связаны соотношением 


/иѵМ = в 3 (М/т.(^) + /«М- (30) 




Условие, ограничивающее мощность входного канала, зададим 
в форме 

+0О 

і / ВД (Х)Л<«Ѵ (31) 

—оо 

• г 

Формальное • решение задачи вполне аналогично решению 
рассмотренной выше конечномерной задачи. Наибольшая про¬ 
пускная способность канала С достигается, если 


/ т (к) = у- <*(})№№ 


■•акян/ 


/ад ( Х ) = 0 при |ЯЩ/и 




Соответствующее значение 7(т}, т]') по формуле (15) равно 



* 5 



«* (X) е а ^ 
кк м 




V ѴѵрІА й 1 (Х)9 ! 'р^ ^ 

ѵмѵ- * 4ц (*) 
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Следует тут же заметить, что в практически интересных 
случаях вычисленная по формулам (32) спектральная плотность 
/уго(Х) обращается в нуль за пределами ограниченного участка 
оси X и поэтому является спектральной плотностью сингуляр¬ 
ного процесса. Процесс т]' (I) будет при этом (в естественном 
предположении регулярности процесса ѣ(1)) смешанным — т. е. 
состоять из суммы сингулярной компоненты Ау\ и регулярной 

компоненты С. Скорость / (у/, т)) создания информации о про¬ 
цессе т} при наблюдении процесса т]' в таком случае вовсе но 

выражается формулой /(г/, т]) = С, а равна нулю (см. §5). 

При помощи некоторых дополнительных рассмотрений можно* 
однако, показать, что, вводя в виде входного сигнала т] (2) регу¬ 
лярные процессы, которые в принципе практически реализуемы и 
действительно несут возникающую во времени информацию* 

можно получить скорость создания информации I (г/, 7])=/(т], т;'), 

сколь угодно близкую к С. Это окончательно оправдывает 
формулу (33)Г. 
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